脑洞大开-如何用大数据的思维回答问题
大家经常会觉得知乎上回答问题的人上知天文,下知地理,猴赛雷啊!小编我看来,其实并不是只有大牛们才能有话语权,我们普通人一样可以回答的逼格满满,今天就用知乎上的问题来做案例,教大家用大数据的思维回答问题。我们的目的是做知乎历史上最有技术含量的总结性答案。实乃快速阅读答案、了解投资风向和知晓就业选择之必备良药。
首先,大家先阅读一下我们所选取的问题:眼看着自己所在行业日渐衰退是怎样一种体验?
下面放大招的时刻到了!!!
我们写好了一个爬虫(以为爬虫是动物的看这里:你是通过什么渠道获取一般人不知道的知识和信息的? - 何明科的回答),并于2016年1月31日上午11点放出去,把这个问题下面的所有答案都抓取下来。然后利用NLP+技术对所有答案做了分词、分析及归纳总结,最后形成下面的报告:正在衰退的行业及背后的原因。除了分析宏观经济形势不明朗下的各个行业,还试图为大学生就业及中学生高考提供一些指导。
(NLP+的意思是,在NLP算法的后面,是一个70KG的怪蜀黍,人肉在NLP分析之后对所有答案进行了再次解读。各类AI大神莫笑。)
截止到爬虫运行结束的时刻(2016年1月31日上午11点左右),该问题下共有5346人关注,算是高关注的问题。共有258个答案,其中69.8%的答案有效(无效答案包括被折叠的),其中只有45%的答案获得不小于零的赞(在知乎上被人认可也不是那么容易,哪怕是一个赞)。
前六大答案就获得了61.2%的赞,知乎也在向KOL集中。
根据NLP+的分析及统计结果,在回答中总共出现了65个行业,根据体积率及赞数比例两个方式排序,找出最苦逼的日渐衰落的行业。
按照前者,排名前五的依次为:纸媒、煤炭、医疗、石油、房地产、政府事业、钢铁、建筑工程、航运及通信。按照后者,排名前五的依次为:纸媒、民乐、工程机械、房地产、钢铁、航运、机顶盒、政府事业、服装、医疗及石油。
这里面的一些有趣现象点评如下。
纸媒(包括报纸、杂志及出版),堪称最苦逼的行业,无论是在提及率还是在赞数占比都遥遥领先。几个曾经做纸媒行业的大V(比如: )发出有见地的答案后获得高票,最终在提及率占到7.8%,在赞数占比来达到41.2%。更是成为独一无二的苦逼衰退行业。纸媒的苦逼其实不用多解释,看看衰落的报刊亭、纷纷出走的纸媒人士、跌落的发行量等等就知道大概了。
民乐,这个属于黑天鹅,只有一个人( )在眼看着自己所在行业日渐衰退是怎样一种体验? - 张潇潇的回答中提及,但是因为其趣味性,获得高票赞数(达到16.2%)。
政府事业,曾经是无数毕业生的梦想,在国家一系列政策的调整下及大力反腐下,5%用户提及到在政府及事业单位没法混了。
宏观经济相关的行业,包括房地产、煤炭、石油、钢铁、航运等等,这些受前几年4万亿及全球经济形势的影响,蓬勃向上,最近几年断崖式下跌:在提及率中占到36.1%,在赞数占比中占到17.5%。
医疗,这个有点出乎意料,令人羡慕且人人都躲不过的医疗行业,居然在赞数占比中高居第九位,达到1.8%。许多医生及从业人士,不仅是被医闹伤了心,还因为各项严打苦于巨大的付出而微博的回报。医生,一个操卖白粉的心而赚卖白菜的钱。
(其实,我很想把医生从苦逼榜里面隐去,如果大家都不做医生,还谁来保卫咱们的健康。话说我当年是想报考协和的,因为做医生的母亲也遭遇过医闹,不建议我报考医生。)
进一步分析这些苦逼行业背后的原因,如下图。
新技术或产品替代。互联网、电商及微信的出现对于许多传统行业(比如:纸媒、电视台、线下零售业、通信等)都是摧毁性的,从提及率看占到25%,从赞数占比来看占到48.5%。不过,电商对于线下零售的摧毁远低于预期,从提及率来看只占到1.7%。另外有意思的人,有人提到高铁的发展对于长途货运业的致命打击。
周期性。前面已经提到,受四万亿基建投资的过度催肥,面临如今宏观经济的下行通道,房地产、煤炭、石油、钢铁、航运等行业都面临周期性的调整。从提及率看占到51.1%,从赞数占比来看占到24.9%。
(总结,新技术或产品替代及周期性,是当前最主要的动因推动许多行业的衰退)
政策变化或缺位。这主要是针对政府事业以及医疗业,从提及率看占到16.7%,从赞数占比来看占到22.3%。前者,是以前官本位日子太好而现在回归正常值。而后者,是全国性甚至是全球性的难题,怎么让医生如此重要的职位过上体面的生活而又不加重老百姓的生活成本。
泡沫。这主要是针对风风火火的智能硬件、太阳能及创投等行业,从提及率看占到2.2%,从赞数占比来看占到1.3%。“眼见他起高楼,眼见他宴宾客,眼见他楼塌了”:想当年,市场上基本没有不看太阳能的投资基金,没人敢说这不是能源的未来。
产业升级或转移。这主要是针对服装及制造代工,从提及率看占到16.7%,从赞数占比来看占到22.3%。这些行业随着国内成本的增加,逐渐在转移到国外或者转移到更偏远的内陆,也造成了衰退。
未知。这里面提到的几个衰退的行业(比如:环保、高尔夫、性服务等),实在没搞明白理由,所以只能放到未知。有趣的是,一个答案里面提到,以前外围一次要1万,现在只要3千。不明白问题出在哪里,不是严打了嘛,供给少了,应该价格上升呀。难道也和反腐有关?
如果大家感兴趣,我们会长期更新数据,同时考虑做更深入的分析。比如:看看回答问题及点赞的人的画像及地域,做出更加有价值的分析。
如果对其他的知乎问题感兴趣,可以通过微信公众号后台或者邮箱发送消息给我们,我们会在其中挑选有意思的问题来分析。
(所有好看的表格均使用制作,如果需要直接引用本篇文章中的图表可以直接点击这里:图表引用)
我们为用户打造的可在线编辑、即时生成数据报告的工具-文图,上线啦!!!
预设有海量的模板和配色方案,可最大程度方便用户数据及内容的呈现。
更多精彩请访问文图网站
注:*号文章为知乎选中后发表在知乎日报的文章
015刊登在5月23日知乎日报
017刊登在6月19日知乎日报
024刊登在7月31日知乎日报
029刊登在11月21日知乎日报
行业数据挖掘与分析
(注:所有数据来源于内部数据挖掘团队,文章分析均为原创,如需引用或对此类数据有兴趣的朋友可以联系我们)